CarryOn:面向可复用任务对象的长程 Agent 上下文运行时
🧭 长程 Agent 上下文管理 · 对象化折叠 ★ 深度解读
University of California San Diego
CarryOn 将长程 Agent 上下文组织为可复用任务对象 + 执行上下文 + 近期交互,OSWorld 2.0 和 BrowseComp-Plus 分别 +5.8%/+7% 并大幅降 token
📌 工作参考价值(4 点)
- 在电商运营/客服长流程 Agent 中,把已完成的商品素材、报表、投放设置等作为 external object carrier,只记录对象路径与使用条件,续接时让 Agent 直接读对象检查,替代反复携带生产日志。
- 显式保留 execution context(目标、约束、未完成任务)与 carrier 互补;论文消融显示缺失该组件会使 partial 分数从 55.93 降至 44.00,实际系统里容易因折叠丢失当前焦点。
- 采用 fold 机制:当可复用产物形成(如图片导出、报表填充)就折叠历史,验证后原子提交,能将输入 token 稳定在阈值附近,成本优势随轨迹变长而扩大(OSWorld 上 500 步降本 34.1%)。
- 信息检索式 Agent(选品调研、竞品分析)可把中间结论存为 information product carrier 并绑定来源,减少重复搜索;论文在 BrowseComp-Plus 上实现 +7% 准确率且 token 降 22.9%。
上下文语言模型:让模型原生管理自身上下文
🧭 Agent 上下文管理 · 原生可编辑上下文 ★ 深度解读
University of Washington · Meta Superintelligence Labs · MIT · Trillium Labs
提出 Context Language Models,将上下文作为可编辑文件交给模型原生管理,在长 horizon Agent 任务上同时提升效果并降低推理成本
📌 工作参考价值(4 点)
- 长会话电商导购/客服 Agent:让模型自主编辑上下文文件(用户画像、候选商品、搜索过程),用 Bash/Python 原地更新、精简、备份,替代固定 summary 或人工工具,降低 token 成本并提升效果。
- 多 Agent 工作流(并行选品、多路召回协调):维护多个上下文文件/内部 tracker,orchestrator 以原地编辑管理状态,减少重复传递。
- 在线推理优化:用户多轮修改筛选条件/商品 id 时,用 Suffix Cache Reuse 复用未变 suffix 的 KV cache,降低重 prefill FLOPs,适合高并发推荐服务。
- 训练 RL 时用 success-gated efficiency advantage,仅对成功轨迹施加 FLOPs 优势,避免失败轨迹获得效率奖励;stepwise GRPO 处理非连续上下文编辑。
编码 Agent 执行框架组件设计的实证研究
🧭 Agent 执行框架组件消融与设计
UMass Amherst · Emory University · UNC Charlotte · Zoom
系统性消融编码 Agent 的上下文管理、规划与动作空间,揭示模型与预算相关的组件设计规律
📌 工作参考价值(4 点)
- 上下文管理策略可直接借鉴:先用规则过滤冗余内容,再按需用 LLM 摘要,能有效控制 token 成本;避免实现“可恢复的删减”机制,因为模型几乎不会去调用,徒增工程复杂度。
- 动态规划开关:强模型上规划主要降低 token 消耗而非提升精度,弱模型上才是精度支撑。可在推荐/搜索 Agent 中按模型能力决定是否启用规划步骤,平衡效果与成本。
- 动作空间设计遵循“够用即可”:对工具使用能力较弱的模型提供结构化预定义工具,对 bash 能力强的模型只给命令行接口,既提升成功率又降低成本,尤其适合命令密集型任务。
- 组件解耦的消融框架值得复用:固定执行循环,独立替换上下文、规划、动作模块,可快速定位系统瓶颈,适合在电商 Agent 中进行模块化调优。
IACM-RL:动态意图波动下基于意图感知上下文管理与强化学习的复杂工具调用
🧭 Agent 上下文管理与强化学习优化 ★ 深度解读
复旦大学 · 荣耀终端有限公司 · 北京大学
提出自生成上下文管理器与分层意图奖励,解决动态意图噪声下工具调用中的状态漂移和无限循环问题
📌 工作参考价值(4 点)
- 状态管理与动作生成解耦:在电商 Agent(如售后、导购)多轮对话中,可将用户需求(商品参数、配送偏好)抽离为显式信念状态块,标记过时字段,避免模型重复使用已修改信息,可直接借鉴 CM 的九块结构设计领域专用状态模板。
- 分层奖励设计:推荐系统 Agent 的 RL 训练可使用类似分层奖励——参数级(如属性正确)、行为级(避免重复推荐)、结果级(推荐链完成度),提供密集、可诊断的信用分配,替换稀疏奖励。
- 辅助损失内部化状态能力:通过 CM 提取损失 L_ext 直接优化状态块生成质量,再用蒸馏损失 L_dist 将状态跟踪蒸馏进模型权重,实现无额外推理开销的隐式状态管理,适合对延迟敏感的线上系统。
- 对抗训练构建干扰数据:用类似 DynamicIntent 的数据增强方法,模拟用户中途插入闲聊、假任务等噪声,训练鲁棒的多轮推荐策略,可提升真实场景下的任务完成率。
计划不持久:为何上下文管理对LLM代理至关重要
🧭 Agent 上下文管理 · 计划衰减测量 ★ 深度解读
Snowflake AI Research
发现标准LLM代理将计划存于上下文而非内部状态,计划信号4-12倍衰减,且推理模型存在重推导污染
📌 工作参考价值(4 点)
- 在构建电商搜索/推荐代理时,若采用ReAct等框架,长任务中切勿轻易压缩或驱逐计划文本——计划信号会因上下文丢失而快速衰减,导致任务失败率陡增34.7pp。
- 可通过 replay pairing 方法诊断关键信息(如约束、工具schema)是上下文驻留还是内部持久化,避免上下文压缩时的隐蔽损坏。尤其对推理模型(DeepSeek-R1等)需使用 strict stripping 去除 <think> 重推导污染,否则测量失真。
- 计划衰减探针(如L32 Ridge回归)可提前4-5步预警行为偏差,适合用作代理的上下文监控器,在计划信号低于阈值时主动回注计划,无需等到动作偏离。
- 推理模型的 <think> 痕迹会不断重推导计划内容,可作为自然冗余,但依赖其完全恢复仍不现实;在压缩关键上下文前,需先验证代理是否已将信息内化。
“连接点”:用RL训练长生命周期Agent的跨域泛化
🧭 Agent 长生命周期元能力训练 ★ 深度解读
Alibaba Group
提出 CoD 框架,用端到端 RL 训练 LLM 在长序列任务中自我更新上下文,实现跨域泛化
📌 工作参考价值(4 点)
- 长周期交互的Agent训练范式:推荐/广告场景中的对话式Agent需在多个会话中持续积累用户偏好,可借鉴 CoD 的「解决任务 + 更新上下文」交错部署模式,训练模型主动维护并利用对用户或环境的记忆。
- 信用分配技巧:采用动态规划思想,将每集回报定义为当前及未来任务奖励的均值,并以同位置轨迹均值作为基线计算优势,可迁移到多步推荐优化中,缓解长序列信用稀疏问题。
- 探索激励环境设计:通过隐藏关键信息(如动作映射)制造信息瓶颈,迫使模型主动探索,可用于构造模拟用户意图欠明确场景的训练集,提升 Agent 的主动信息获取能力。
- 合成环境到真实业务的迁移:实验显示在简单游戏环境中训练的元能力能泛化到终端仿真任务,业务中可尝试在低成本合成环境训练长生命周期能力,再迁移到真实业务 Agent。